Tại Samara, ông được bầu làm Bí thư Huyện ủy Trubochnoy, chủ tịch hội đồng quản trị công đoàn nhà máy và thành viên đoàn chủ tịch ủy ban chấp hành xô viết thành phố Samara. Đó là lần đầu tiên khi ở Samara, ông tham gia công tác đảng trong tổ chức công đoàn.

Năm 1917, ông tốt nghiệp một trường học ở thành phố Samara.

Tháng 10 năm 1917, ông là Chủ tịch Ủy ban toàn Nga về Nhà máy Pháo binh Công nhân và thành viên Hội đồng Nhà máy Pháo binh.

Vào tháng 6 năm 1918, ông tham gia các trận chiến chống lại Quân đoàn Tiệp Khắc, Bạch vệ, để bảo vệ Samara. Vào tháng 7 đến tháng 10 năm 1918 - ông là chính ủy Trung đoàn súng trường Simbirsk số 2 thuộc Sư đoàn Simbirsk số 1 hợp nhất, lực lượng đã lật đổ chính phủ quốc gia đầu tiên chống Bolshevik Nga (Ủy ban Hội đồng Lập hiến toàn Nga). Tháng 10 năm 1918, ông trở thành thành viên của Bộ chỉ huy Pháo binh. Từ tháng 4 năm 1919 - Chủ tịch Ủy ban Chấp hành thành phố Samara.

Năm 1919-1921, ông đảm nhiệm các chức vụ lãnh đạo trong hệ thống tiếp tế cho quân đội ở Caucasus.

Từ năm 1921, ông công tác trong công đoàn. Kể từ ngày 27 tháng 11 năm 1923, ông là Phó Chủ tịch của "Ủy ban thường trực do Bộ Chính trị thành lập để đấu tranh chống rượu, thuốc phiện, bia và cờ bạc (đặc biệt là lô tô)". Từ tháng 2 năm 1924 đến tháng 12 năm 1925, ông là Ủy viên Nhân dân Bộ Dân ủy Thanh tra Công nhân và Nông dân Nga Xô.

Từ năm 1923 ông là Ủy viên Ủy ban Kiểm tra Trung ương Đảng Cộng sản Nga (bolshevik), từ năm 1924 là Ủy viên Đoàn Chủ tịch Ủy ban Kiểm tra Trung ương Đảng Cộng sản Nga (bolshevik).

Tại Đại hội lần thứ XIV của Đảng Cộng sản Nga (bolshevik) vào tháng 12 năm 1925, ông được bầu làm Ủy viên Trung ương Đảng. Năm 1925-1926, ông làm Bí thư Tỉnh ủy Leningrad và Bí thư Cục Tây Bắc Trung ương Đảng Cộng sản toàn Liên bang (bolshevik). Từ ngày 9 tháng 4 năm 1926 đến ngày 16 tháng 4 năm 1927, Nikolai Shvernik là Bí thư Trung ương Đảng Cộng sản toàn Liên bang (bolshevik) và đồng thời là thành viên của Cục Tổ chức Trung ương Đảng (Orgburo).

Tháng 3 năm 1927, ông bị miễn nhiệm chức vụ Bí thư Ban Bí thư, ủy viên Cục Tổ chức Trung ương Đảng và được cử đến Ural để làm Bí thư thứ nhất Tỉnh ủy vùng Ural (tháng 3 năm 1927 - tháng 1 năm 1929). Ông cho thấy mình là một người ủng hộ nhất quán công nghiệp hóa và được cho trở lại Moscow vào năm 1929 với tư cách là Chủ tịch Ủy ban Công đoàn Cơ khí Trung ương.

Ông lại được đề cử làm ủy viên dự khuyết Cục Tổ chức Trung ương Đảng (17 tháng 11 năm 1929 - 26 tháng 6 năm 1930). Sau Đại hội lần thứ XVI Đảng Cộng sản toàn Liên bang (b) ngày 13 tháng 7 năm 1930, ông được bầu làm Ủy viên Cục Tổ chức Trung ương Đảng (đến ngày 18 tháng 3 năm 1946) và Ủy viên dự khuyết Ban Bí thư Trung ương Đảng (đến ngày 26 tháng 1 năm 1934). Kể từ thời điểm đó, công việc của ông gắn bó với tổ chức công đoàn. Từ năm 1929 - Bí thư Hội đồng Trung ương các công đoàn Liên Xô với tư cách là Bí thư Ban Bí thư gồm 5 người, năm 1930 ông được bầu làm Bí thư thứ nhất Hội đồng Trung ương các công đoàn Liên Xô (7/1930 - 3/1944).

Vào ngày 12 tháng 12 năm 1937, ông được bầu vào Xô viết Tối cao Liên Xô với tư cách là đại biểu Cộng hòa Xã hội chủ nghĩa Xô viết tự trị Komi. Với tư cách là đại biểu Xô viết Tối cao Liên Xô (1938-1966), ông tham gia tổ chức cơ quan lập pháp mới của Liên Xô và được bầu làm Chủ tịch Xô viết Quốc gia (12/1/1938 - 10/2/1946). Sau Đại hội Đảng lần thứ XVIII, ông được bầu làm Ủy viên Bộ Chính trị Trung ương Đảng (22 tháng 3 năm 1939 - 5 tháng 10 năm 1952).

Trong Chiến tranh Vệ quốc Vĩ đại, ông là Phó chủ tịch, sau đó là Chủ tịch Hội đồng Sơ tán, ông chịu trách nhiệm về việc sơ tán các ngành công nghiệp của Liên Xô đến các khu vực phía đông của Liên Xô. Ông là chủ tịch Ủy ban đặc biệt xác minh và điều tra tội ác quân xâm lược phát xít Đức (2 tháng 11 năm 1942 - 9 tháng 6 năm 1951). Ông đã khởi xướng việc thành lập ủy ban công đoàn Anh-Xô, nhiệm vụ chính là đoàn kết những nỗ lực của công đoàn hai nước để đánh bại Đức. Tham gia vào việc chuẩn bị cho hội nghị đặt nền móng cho Liên hiệp Công đoàn Thế giới sau này.

Năm 1944, ông được bầu làm Phó Chủ tịch thứ nhất Đoàn Chủ tịch Xô viết Tối cao Liên Xô (1 tháng 2 năm 1944 - 19 tháng 3 năm 1946) và Chủ tịch Đoàn Chủ tịch Xô viết Tối cao Nga Xô (4 tháng 3 năm 1944 - 25 tháng 6 năm 1946).